home *** CD-ROM | disk | FTP | other *** search
/ Collection of Internet / Collection of Internet.iso / infosrvr / doc / www_talk.arc / 000034_timbl _Tue Feb 4 08:44:25 1992.msg < prev    next >
Internet Message Format  |  1992-11-30  |  4KB
  1. Return-Path: <timbl>
  2. Received: by  nxoc01.cern.ch  (NeXT-1.0 (From Sendmail 5.52)/NeXT-2.0)
  3.     id AA24645; Tue, 4 Feb 92 08:44:25 GMT+0100
  4. Date: Tue, 4 Feb 92 08:44:25 GMT+0100
  5. From: timbl (Tim Berners-Lee)
  6. Message-Id: <9202040744.AA24645@ nxoc01.cern.ch >
  7. Received: by NeXT Mailer (1.62)
  8. To: emv@cic.net
  9. Subject: Re: using WWW to follow gopher links 
  10. Cc: www-talk@nxoc01.cern.ch, gopher@boombox.micro.umn.edu,
  11.         wais-talk@quake.think.com
  12.  
  13. Ed,
  14.  
  15. All good stuff -- the world is coming together.
  16.  
  17. What do you think is the most useful www option for tracing what's out there?
  18. I have two suggestions - one is a -list option (or something) which makes
  19. www return only list of related documents, one on each line.
  20. Another is one which will recursively run down a tree. The
  21. trouble with the latter is telling it where to stop. Depth isn't really good enough
  22. as probably you also want to constrain it to only gopher files, for example.
  23. Perhaps the most flexible would be just the first option, with a perl etc script  
  24. around ir to be flexible. I'd link to see for example lists of all telnet sites
  25. references by gopher or www links, a wais server for www documents and gopher  
  26. nodes.  My guess is that one index could handle the lot so long as one trimmed
  27. off the few places where people have gatewayed in the entire ftp world, etc.
  28. Then I'd like to see a www server for that index so that one could jump straight to  
  29. the docoument wherever it came from.... I have to write an articel today, maybe
  30. tomorrow I'll put in www -list.
  31.  
  32. KUTGW
  33.     Tim
  34.  
  35. [PS: I assume you meant -p rather than -np in the www command. Perhaps we
  36. should put in -np if it is more intuitive than -p for no paging.
  37. I'll look at the CR problem.]
  38.  
  39. __________________original message follows
  40. Tim,
  41.  
  42. Some more results of wais/www/gopher collaboration.
  43.  
  44. I have a new WAIS server running at wais.cic.net, called
  45. "midwest-weather".  It's fed by loading in a bunch of weather reports
  46. from a gopher at Minnesota every hour.  That system gets them from the
  47. "weather underground" at Michigan using some hairy expect scripts, I
  48. figured it'd be easier to get things out of gopher instead.
  49.  
  50. The script looks like:
  51.  
  52. WEATHER=gopher://mermaid.micro.umn.edu:150/00/Weather
  53. www -n -np ${WEATHER}/Indiana/Fort%20Wayne | sed -e 's/.$//' > fort-wayne.in
  54. www -n -np ${WEATHER}/Indiana/Indianapolis | sed -e 's/.$//' > indianapolis.in
  55. www -n -np ${WEATHER}/Indiana/South%20Bend | sed -e 's/.$//' > south-bend.in
  56. [...]
  57.  
  58. For some reason the gopher files are coming out of www with extra ^M's
  59. on the end, as if they were DOS files; so the sed thing gets rid of them.
  60.  
  61. I don't see a way to do this with just one invocation of www, so
  62. instead it runs once for each file.
  63.  
  64. Neither gopher nor WWW have the notion of a "recursive directory
  65. listing", either some complete overview of the structure of the system
  66. or some skeleton outline.  (I realize it's arbitrarily hard to do so
  67. since any link could point off anywhere else.)  That makes it tougher
  68. to do an archie-style catalog.  I think it wouldn't be that hard to
  69. build a tree-walker for gopher that prints out a list of the
  70. directories on every system that it can find and also the text of all
  71. of the stuff that's in the ".about" directories.  At the very least
  72. I'm doing some of that by hand now (just a script like the one above)
  73. & waising it so I have some clue what all is out there.  *not* a 
  74.  
  75. replacement for the per-site indexes, but a cross-section.
  76.  
  77. --Ed
  78.